A polarization camera has great potential for 3D reconstruction since the angle of polarization (AoP) and the degree of polarization (DoP) of reflected light are related to an object's surface normal. In this paper, we propose a novel 3D reconstruction method called Polarimetric Multi-View Inverse Rendering (Polarimetric MVIR) that effectively exploits geometric, photometric, and polarimetric cues extracted from input multi-view color-polarization images. We first estimate camera poses and an initial 3D model by geometric reconstruction with a standard structure-from-motion and multi-view stereo pipeline. We then refine the initial model by optimizing photometric rendering errors and polarimetric errors using multi-view RGB, AoP, and DoP images, where we propose a novel polarimetric cost function that enables an effective constraint on the estimated surface normal of each vertex, while considering four possible ambiguous azimuth angles revealed from the AoP measurement. The weight for the polarimetric cost is effectively determined based on the DoP measurement, which is regarded as the reliability of polarimetric information. Experimental results using both synthetic and real data demonstrate that our Polarimetric MVIR can reconstruct a detailed 3D shape without assuming a specific surface material and lighting condition.
translated by 谷歌翻译
场景中光的极化信息对于各种图像处理和计算机视觉任务很有价值。平面偏光仪是一种有前途的方法,可以一次性地捕获不同方向的极化图像,而它需要颜色极化的表现。在本文中,我们提出了一个两步的颜色偏振化学网络〜(TCPDNET),该网络由两个颜色的表演和极化演示组成。我们还引入了YCBCR颜色空间中的重建损失,以提高TCPDNET的性能。实验比较表明,TCPDNET在极化图像的图像质量和Stokes参数的准确性方面优于现有方法。
translated by 谷歌翻译
单个图像派生通常被称为残差学习,以预测来自输入的多雨图像的雨层。为此目的,编码器 - 解码器网络引起了广泛的关注,其中编码器需要编码高质量的雨嵌入,确定后续解码阶段的性能以重建雨层。然而,大多数现有研究都忽视了雨嵌入质量的重要性,从而导致有限的性能与过度/污染不足。在本文中,通过我们对雨水自动化器的高雨层重建性能观察,我们介绍了AutoEncoder作为理想雨嵌入和增强的理想雨量的编码嵌入“雨嵌入一致性”通过提高理想雨嵌入与受管线编码器的理想雨嵌入和雨嵌入之间的一致性的污染性能。为此,应用雨量嵌入损耗来直接监督编码过程,并将局部对比度标准化(RLCN)作为有效提取候选雨像素的指导。考虑到不同的尺度,我们还提出了分层的LSTM用于复发性的污染和细粒度编码器特征细化。定性和定量实验表明,我们所提出的方法优于以前的最先进的方法,特别是在真实的数据集上。我们的源代码有关http://www.ok.sc.e.titech.ac.jp/res/sir/。
translated by 谷歌翻译
Diagnostic radiologists need artificial intelligence (AI) for medical imaging, but access to medical images required for training in AI has become increasingly restrictive. To release and use medical images, we need an algorithm that can simultaneously protect privacy and preserve pathologies in medical images. To develop such an algorithm, here, we propose DP-GLOW, a hybrid of a local differential privacy (LDP) algorithm and one of the flow-based deep generative models (GLOW). By applying a GLOW model, we disentangle the pixelwise correlation of images, which makes it difficult to protect privacy with straightforward LDP algorithms for images. Specifically, we map images onto the latent vector of the GLOW model, each element of which follows an independent normal distribution, and we apply the Laplace mechanism to the latent vector. Moreover, we applied DP-GLOW to chest X-ray images to generate LDP images while preserving pathologies.
translated by 谷歌翻译
Reinforcement learning (RL) is one of the most vibrant research frontiers in machine learning and has been recently applied to solve a number of challenging problems. In this paper, we primarily focus on off-policy evaluation (OPE), one of the most fundamental topics in RL. In recent years, a number of OPE methods have been developed in the statistics and computer science literature. We provide a discussion on the efficiency bound of OPE, some of the existing state-of-the-art OPE methods, their statistical properties and some other related research directions that are currently actively explored.
translated by 谷歌翻译
我们研究了具有一般函数近似的部分可观察的MDP(POMDP)的外部评估(OPE)。现有的方法,例如顺序重要性采样估计器和拟合-Q评估,受POMDP中的地平线的诅咒。为了解决这个问题,我们通过引入将未来代理作为输入的未来依赖性值函数来开发一种新颖的无模型OPE方法。未来依赖性的价值函数在完全可观察的MDP中起着与经典价值函数相似的角色。我们为未来依赖性价值作为条件矩方程提供了一个新的Bellman方程,将历史记录代理用作仪器变量。我们进一步提出了一种最小值学习方法,以使用新的Bellman方程来学习未来依赖的价值函数。我们获得PAC结果,这意味着我们的OPE估计器是一致的,只要期货和历史包含有关潜在状态和Bellman完整性的足够信息。最后,我们将方法扩展到学习动力学,并在POMDP中建立我们的方法与众所周知的光谱学习方法之间的联系。
translated by 谷歌翻译
在本文中,我们研究了部分可观察到的动态系统的在线增强学习(RL)。我们专注于预测状态表示(PSRS)模型,该模型是捕获其他知名模型(例如可观察到的马尔可夫决策过程(POMDP))的表达模型。 PSR使用一组未来观察结果的预测表示状态,并完全使用可观察的数量来定义。我们为PSRS开发了一种新型的基于模型的算法,该算法可以在样本复杂性中学习相对于系统的所有相关参数的多项式缩放的近乎最佳策略。我们的算法自然可以与功能近似合作,以扩展到具有较大状态和观察空间的系统。我们表明,给定一个可实现的模型类别,学习近乎最佳策略的样本复杂性仅相对于模型类的统计复杂性,而没有任何明确的多项式依赖性对状态和观察空间的大小依赖。值得注意的是,我们的工作是表明多项式样本复杂性与PSR中全球最佳政策竞争的第一项工作。最后,我们演示了如何直接使用我们的一般定理来得出特殊模型的样本复杂性界限,包括$ m $ $ step弱揭示和$ m $ $ $ - 可解码的表格pomdps,具有低率潜在过渡的POMDP和具有线性pomdps的POMDP排放和潜在过渡。
translated by 谷歌翻译
我们研究了通过功能近似的强化学习,以部分可观察到的马尔可夫决策过程(POMDP),其中状态空间和观察空间很大甚至连续。特别是,我们考虑了POMDP的Hilbert空间嵌入,其中潜在状态的特征和观察的特征允许观测发射过程的有条件的希尔伯特空间嵌入,而潜在状态过渡是确定性的。在函数近似设置下,最佳潜在状态行动$ q $函数在状态功能中是线性的,而最佳$ q $ - 功能具有差距,我们提供了\ emph {计算和统计上有效} algorithm查找\ emph {确切的最佳}策略。我们在观察空间上的算法和特征的固有维度上,在多项式上显示了算法的计算和统计复杂性。此外,我们显示了确定性的潜在过渡和差距假设对于避免统计复杂性指数在地平线或维度中是必要的。由于我们的保证对状态和观察空间的大小没有明确的依赖性,因此我们的算法可证明对大规模POMDPS。
translated by 谷歌翻译
我们研究使用功能近似的部分可观察到的动力学系统的增强学习。我们提出了一个新的\ textit {部分可观察到的双线性actor-Critic-Critic框架},它足以包括可观察到的图表部分可观察到的Markov决策过程(POMDPS),可观察到的线性Quadratic-Quadratic-Gaussian(LQG)(LQG),预测状态表示(POMDPS)( PSRS),以及新引入的模型Hilbert空间嵌入POMDPS和可观察到的POMDP,具有潜在的低级过渡。在此框架下,我们提出了一种能够执行不可知论政策学习的参与者批评算法。给定一个由基于内存的策略组成的策略类别(查看最近观察的固定长度窗口),以及一个值得将内存和未来观察作为输入的功能组成的值函数类别,我们的算法学会了与最佳的最佳竞争在给定策略类中基于内存的策略。对于某些示例,例如可观察到的表格pomdps,可观察到的LQG和可观察到的具有潜在低级过渡的可观察到的POMDP,通过隐式利用其特殊特性,我们的算法甚至能够与全球最佳策略竞争,而无需支付对高度依赖的依赖,以竞争全球最佳的策略。它的样本复杂性。
translated by 谷歌翻译
时间是文档的重要方面,用于一系列NLP和IR任务。在这项工作中,我们研究了在预训练期间合并时间信息的方法,以进一步提高与时间相关的任务的性能。与Bert相比,使用同步文档收集(BooksCorpus和English Wikipedia)作为培训语料库相比,我们使用长跨度的时间新闻文章集合来构建单词表示。我们介绍了Timebert,这是一种新颖的语言表示模型,该模型通过两项新的预训练任务培训了新闻文章的临时收集,这些任务利用了两个不同的时间信号来构建时间认识的语言表示。实验结果表明,TimeBert始终胜过BERT和其他现有的预训练模型,在不同的下游NLP任务或应用程序上,时间很高的时间很重要。
translated by 谷歌翻译